Trajectory-Refined Distillation
轨迹精炼蒸馏：缓解在线策略蒸馏的前缀失效
🧭 LLM 在线策略蒸馏 · 轨迹级纠正 ★ 深度解读
McGill University · Mila Quebec AI Institute · University of Texas at Austin
提出轨迹精炼蒸馏(TRD)，由教师修正学生生成的错误前缀后再进行蒸馏，突破token级干预局限
📌 工作参考价值（4 点）
- 在线蒸馏中，直接对错误轨迹做逐token KL会导致监督退化；可借鉴TRD思路：先用强模型（教师）修正学生生成的整个推理轨迹，再蒸馏，以根治前缀错误。
- 正向KL配合全词表匹配在蒸馏中更稳定，避免模式崩塌；在电商Agent的生成式推理训练中可优先采用此损失形式。
- 自蒸馏时，利用参考答案等特权信息生成精炼轨迹，能在不增加外部模型的情况下有效提升学生推理能力和探索宽度。
- 精炼轨迹通常更简短，可缩短训练序列、降低算力开销，适合大规模工业蒸馏任务。